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@ Verfahren und Vorrichtung zur Stereobildauswertung 

® Die Erfindung betrifft ein Verfahren zur Stereobildauswer- 
tung, bei welchem a us zwei elektronisch gespeicherten 
Stereobildern mit in Zeilen und Spalten angeordneten, durch 
Zeilen- und Spattenzahlen charakterisierten Bildpunktan zu 
den einzelnen Bildpunkten die zugehorigen Entfernungen 
bestimmt werden. Das Verfahren waist die folgenden Ver- 
fahren sschritte auf: 

(a) Erzeugung eines ersten und eines zweiten Stereo bi Ides 
derart, daS oinander entsprechende Bildpunkte in den 
beiden Stereobildern in gleichen Zeilen Jiegen, 

(b) wo be I jedem Biidpunkt ein dlesen umgebendes Mikro- 
muster zugeordnet ist, 

(c) Veranderung der Spattenzahlen der Bildpunkte, zu denen 
die zu korrelierenden Mikromuster gehdren, be! dem zweiten 
Stereobild von einer Ausgangsposition schrittweise relativ 
zu denen des eraten Stereobildes, 

■ (d) Erzeugung von Korrelationen der Mikromuster jeder Zeile 

Cdes zweiten Stereobildes mit den MIkfomustern jeder Zeile 
des ersten Stereobildes nach jedem solchen Schritt, 
^ (e) Bestimmung der Extremwerte der so fur jeden Schritt 
erhattenen Korrelationen und 

(f) Bestimmung der Langen der Verschiebevektoren aus den 
Schrittzahlen von der Ausgangsposition bis zum Erreichen 
des Extremwertes der Korrelation eines Mikromusters und 
Zuordnun o dieser Lan g en zu den dem Mikromu ster zugeord-_ 
neten Bildpunkten des ersten Stereobildes und 

(g) Bestimmung der Entfernungen der den Bildpunkten 
zugeordneten Objektpunkte aus den so zugeordneten LSn- 
gen der Verschiebevektoren. 
Es wird ... 
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Beschreibung 



Technisches Gebiet 

5 

Die Erfindung betrifft ein Verfahren und eine Vor- 
richtung zur Stereobildauswertung bei welchem aus 
zwei elektronisch gespeicherten Stereobildern mit in 
Zeilen und Spalten angeordneten, durch Zeilen- und 
Spaltenzahlen charakterisierten Bildpunkten zu den ein- io 
zeinen Bildpunkten die zugehdrigen Entfernungen be- 
stimmt werden. 

Es werden mittels opto-elektronischer Aufhahmemit- 
tel zwei Stereobilder einer Szene erzeugt, also zwei 
Bilder der Szene, die von seitlich gegeneinander ver- is 
setzten Punkten aus aufgenommen werden. Visuell 
kann man aus zwei solchen Bildern ein plastisch wirken- 
des Bild gewinnen. Es gilt aber hier, aus diesen beiden 
Stereobildern durch Bildverarbeitung Informationen 
uber den Abstand der den verschiedenen Bildpunkten 20 
entsprechenden Objektpunlcte zu erhalten, Dieser Ab- 
stand kann trigonometrisch aus der Verschiebung be- 
rechnet werden, die ein bestimmter Bildpunkt in dem 
einen Stereobild gegenQber dem entsprechende, d.h. 
den gleichen Objektpunkt darstellenden, Bildpunkt in 25 
dem anderen Stereobild erfahrt Das Hauptproblem be- 
steht aber darin, solche einander zugeordnete Bildpunk- 
te zu erkennea Das ist das sog. "Korrespondenz-Pro- 
blem". 



Zugrundeliegender Stand der Technik 
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Es ist bekannt, diese Aufgabe manuell zu Idsen, Von 
einem zu vermessenden raumlichen Objekt werden 
Aufnahmen von verschiedenen, bekannten Punkten aus 35 
gemacht und auf dem Bildschirm eines Rechners darge- 
stellt Dann werden einander entsprechende, markante 
Punkte mittels eines Cursors und einer "Maus" auf dem 
Bildschirm markiert Ein Programm berechnet daraus 
die relative raumliche Lage der markierten Punkte 40 
(COMPUTER GRAPHICS WORLD, 1 994, 58-59). 

Dieses Verfahren arbeitet nicht in Echtzeit Es muB 
vielmehr ausreichend Zeit vorhanden sein, um nachtrag- 
lich die manuelle Bearbeitung vorzunehmen. Das Ver- 
fahren arbeitet auch nicht automatisch sondern bedarf 45 
eines Eingriffs durch den Menschen. 

Es ist weiter bekannt, zur Ldsung des Korrespon- 
denz-Problems jedes der beiden Stereobilder einzeln 
durch einen Rechner zu analysieren und eine abstrakte 
oder vereinfacht-geometrische Beschreibung aller darin 50 
vorkommenden Objekte oder Teilobjekte aufzustellen. 
AnschlieBend kann dann eine Zuordnung einander ent- 
sprechender Bildpunkte des Paares von Stereobildern 
fur diejenigen Objektpunkte vorgenommen werden, fur 
welche die Bildanalyse zu einer eindeutigen und in bei- 55 
den Bildern qualitativ ftbereinstimmenden Beschrei- 
bung geftthrt hat (S.B.Marapane und MM: "Multi-pri- 
mitive hierarchical stereo analysis" in "IEEE Transac- 
tions on Pattern Analysis and Machine Intelligence" 16 
(1994), 227-240). Dieses Verfahren ist sehr aufwendig. 60 

Nach einem anderen Verfahren wird eine mathemati- 
sche Optimierungsaufgabe geldst: Das eine der beiden 
Stereobilder wird in der Weise lokal verzerrt, daB beide 
Bilder anschlieBend Punkt fur Punkt bestmoglich uber- 
einstimmen. Mathematisch formuliert bedeutet das, daB 65 
^nt*r-der-4landbedingung-gr6Btm5glicher_Stetij 



beim VerzerrungsprozeB die Summe der Differenzen 
der Bildpunkt-Helligkeiten oder der Bildpunkt-Farb- 



werte summiert Qber alle Bildpunkte ein Minimum bil- 
det Die resultierende Verzerrung ist dann identisch mit 
dem gesuchten Feld der Verschiebungsvektoren (Buh- 
mann, Divko, Ritter, Schulten "Physik und Gehirn", 
DE-Z "mc" (1987), 108- 120). 

Auch dieses Verfahren ist sehr aufwendig und lang- 
wierig. Es ist nicht geeignet fur Echtzeitbetrieb unter 
industriellen Bedingungen und auf kostenmaBig vertret- 
baren Rechnern. 

Um das Korrespondenz-Problem weniger aufwendig 
zu Ibsen, ist es weiterhin bekannt, eine einzige reale 
Kamera gleichfdrmig von einer ersten Position in eine 
zweite Position zu bewegen, die um die Stereobasis ge- 
genuber der ersten Position seitlich versetzt ist (DE- 
PS 34 12 533). Auch wahrend dieser Bewegung wird ei- 
ne Folge von Bildern aufgenommen. Die beiden zu ver- 
arbeitenden Stereobilder sind das erste und das letzte 
Bild dieser Folge. Die stetige Bewegung der Kamera 
erm&glicht es dann, Bilddetails, z. B. ein Mikromuster 
von 3x3 Bildpunkten, wahrend des gesamten Ablaufs 
der Bewegung in dicht aufeinanderfolgenden Bildern zu 
verfolgen. Die wahrend dieser differentiellen Verfol- 
gung entstehenden "Spuren" der Mikromuster verbin- 
den dann alle korrespondierenden, <L h. dem gleichen 
Objektpunkt zugeordneten Bildpunkte. Was die Mikro- 
muster selbst dabei darstellen, ist unerheblich. Die Mi- 
kromuster miissen nur einen das Rauschen ubersteigen- 
den Kontrast aufweisea 

Ein "Design of a single-lens stereo camera system" ist 
beschrieben in GB-Z "Pattern Recognition" Bd.26 
(1993), 923-937. 

Die EP-OS 0 499 890 beschreibt einen Parallelrech- 
ner hoher Leistung und eine Datenschnittstelle zur Ein- 
und Ausgabe von Daten in einen solchen Parallelrech- 
ner. 

Offenbarung der Erfindung 

Der Erfindung liegt die Aufgabe zugrunde, ein Ver- 
fahren und eine Vorrichtung zur Stereobildauswertung 
zu schaffen, bei welchem mit tragbarem Rechnerauf- 
wand eine automatische Stereobildauswertung in Echt- 
zeit ermdglicht wird. 

Erfindungsgemafi wird diese Aufgabe mit einem Ver- 
fahren geldst, das die folgenden Verfahrensschritte auf- 
weist: 

(a) Erzeugung eines ersten und eines zweiten Ste- 
reobildes derart, daB einander entsprechende Bild- 
punkte in den beiden Stereobildern in gleichen Zei- 
len liegen, 

(b) wobei jedem Bildpunkt ein diesen umgebendes 
Mikromuster zugeordnet ist, 

(c) Veranderung der Spaltenzahlen der Bildpunkte, 
zu denen die zu korrelierenden Mikromuster geho- 
ren, bei dem zweiten Stereobild von einer Aus- 
gangsposition schrittweise relativ zu denen des er- 
sten Stereobildes, 

(d) Erzeugung von Korrelationen der Mikromuster 
jeder Zeile des zweiten Stereobildes mit den Mi- 
kromustern jeder Zeile des ersten Stereobildes 
nach jedem solchen Schritt, 

(e) Bestimmung der Extremwerte der so ftlr jeden 
Schritt erhaltenen Korrelationen und 

(f) Bestimmung der Langen der Verschiebevekto- 
ren_aus_den_Sc^ttzahlenjvon_der_Ausgangsposi!L„ 
tion bis zum Erreichen des Extremwertes der Kor- 
relation eines Mikromusters und Zuordnung dieser 
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Langen zu den dem Mikromuster zugeordneten 
Bildpunkten des ersten Stereobildes und 
(g) Bestimmung der Entfernungen der den Bild- 
punkten zugeordneten Objektpunkte aus den so 
zugeordneten Langen der Verschiebevektoren. 5 

Dementsprechend ist eine erfindungsgemaBe Vor- 
richtung zur DurchfQhrung des Verfahrens gekenn- 
zeichnet durch: 

10 

(a) elektro-optische Kameramittel mit Zeilenraste- 
rung zur Erzeugung eines ersten und eines zweiten 
Stereobildes einer Szene aus gegeneinander in 
Richtung der Zeilen parallel verschobenen Abbtl- 
dungs-Strahlengangen, 15 

(b) einen Bildspeicher zur Speicherung des ersten 
und zweiten Stereobildes, wobei jedem Bildpunkt 
eine Zeilenzahl und eine Spaltenzahl und auBerdem 
jeweils ein von benachbarten Bildpunkten gebilde- 
tes Mikromuster zugeordnet ist, 20 

(c) Mittel zur schrittweisen Veranderung der Spal- 
tenzahlen des ersten Stereobildes relativ zu den 
Spaltenzahlen des zweiten Stereobildes ausgehend 
von einer Ausgangsposition, 

(d) Korrelationsmittel zur Korrelation der Mikro- 25 
muster des ersten Stereobildes mit Mikromustern 
des zweiten Stereobildes, die Bildpunkten rnit je- 
weils gleichen Spaltenzahlen zugeordnet sind, zur 
Bestimmung von Korrelationswerten, 

(e) Mittel zur Bestimmung von Extremwerten der 30 
Korreiationswerte, 

(0 Speichermittel durch welche fur jeden Bildpunkt 
und das diesem zugeordnete Mikromuster die aus 
der Schrittzahl zwischen Ausgangsposition und Po- 
sition des Extremwertes an einer zugeordneten 35 
Speicherstelle bestimmte Lange des Verschiebe- 
vektors speicherbar ist, und 
(g) Rechnermittel zur Bestimmung der Entfernun- 
gen der den Bildpunkten zugeordneten Objekt- 
punkte aus den so zugeordneten Langen der Ver- 40 
schiebevektoren. 

Bei dem erfindungsgemaBen Verfahren werden die 
Stereobilder in der Weise erzeugt, dafi einander ent- 
sprechende, den gleichen Objektpunkt darstellenden 45 
Bildpunkte in jedem Stereobild in der gleichen Zeile 
liegen. Das vereinfacht die Signalverarbehung, da die 
Stereobilder Zeile far Zeile miteinander verglichen wer- 
den kSnnen. Das jedem Bildpunkt zugeordnete Mikro- 
muster ist dementsprechend linear, d. h. liegt ebenfalls 50 
nur in einer Zeile. Es werden nun die Zeilen des zweiten 
Stereobildes gegentiber den Zeilen des ersten Stereobil- 
des schrittweise, Pixel fur Pixel, "verschoben". In jeder 
relativen Position wird die Korrelation zwischen den 
verschiedenen, nun tibereinanderiiegenden Mikromu- 55 
stern, also etwa die Summe der Differenzen der Hellig- 
keitswerte, gebildet Diese Korrelationswerte werden 
verfolgt, und es wird fur jeden Bildpunkt und das diesem 
zugeordnete Mikromuster diejenige Schrittzahl be- 
stimmt, bei welcher der Korrelationswert einen Extrem- eo 
wert, in vorstehendem Beispiel ein Minimum, zeigt Die- 
se Schrittzahl wird zu dem betreffenden Bildpunkt des 
ersten Stereobildes gespeichert Aus dieser Schrittzahl 
kann die dem jeweiligen Bildpunkt zugeordnete Ver- 
~schiebevek^orlasge4>estimmt~w*rden,-Und^cUeseJ^er=_65 
schiebevektoriange gestattet wiederum die Berechnung 
der Entf ernung des zugeh&rigen Objektpunktes. 
Auf diese Weise wird mit relativ geringem Rechen- 



aufwand die Zuordnung der Bildpunkte und die Bestim- 
mung der Verschiebevektorlange ermOglicht Es wer- 
den nur zwei Stereobilder betrachtet, und es ist nicht 
erforderlich, die Kamera zu bewegen und Mikromuster 
auf diesem Weg zu verfolgen. Es ist keine manuelle 
Eingabe erforderlich* Die einzelnen Stereobilder brau- 
chen nicht vorher einzeln verarbeitet zu werden, urn 
markante Punkte in beiden Bildern herauszufinden. Die 
Stereobildauswertung nach der Erfindung kann mit ver- 
fUgbaren Rechnern in Echtzeit erfolgen, 

Ausgestaltungen der Erfindung sind Gegenstand der 
Unteranspruche. 

Ein Ausfiihrungsbeispiel der Erfindung wird nachste- 
hend unter Bezugnahme auf die zugehOrigen Zeichnun- 
gen nahererlautert 

Kurze Beschreibung der Zeichnungen 

Fig. 1 veranschaulicht die Bestimmung der Entfer- 
nung eines Objektpunktes aus der Verschiebevektor- 
lange. 

Fig. 2 ist eine schematisch-perspektivische Darstel- 
lung und zeigt den Gesichtsfeldkegel einer Zeile eines 
kartesisch gerasterten Bildsensors. 

Fig* 3 ist eine schematisch-perspektivische Darstel- 
lung und zeigt die sich durchdringenden Gesichtsfeldke- 
gel je einer Zeile zweier im Abstand einer Stereobasis 
nebeneinander angeordneter Bildsensoren. 

Fig. 4 zeigt eine Kameraanordnung zur Erzeugung 
von Stereobildern, aus denen die raumliche Struktur 
eines Objekts vermessen werden kann. 

Fig. 5 ist eine schematisch-perspektivische Darstel- 
lung und zeigt ein Paar von Stereobildern mit Zeilens- 
truktur sowie zwei herausgegriffenen, korrespondieren- 
den Zeilen. 

Fig. 6 ist eine schematisch-perspektivische Darstel- 
lung eines Stereobildes mit einem Bildstreifen aus drei 
Zeilen, das gegenQber dem anderen Bild urn vier Pixel 
nach links in Fig. 6 verschoben ist, sowie Mikromuster 
von 3 x 3 Pixeln, die miteinander zu korrelieren sind. 

Fig. 7 veranschaulicht die Bestimmung der Verschie- 
bevektorlange aus dem Minimum der Korrelationswer- 
te. 

Fig. 8 zeigt die Zuordnung von Prozessorelementen 
eines Parailelrechners, festem ersten Stereobild und 
"verschobenem" Bildstreifen des zweiten Stereobildes. 

Bevorzugte Ausftihrung der Erfindung 

Fig. 1 zeigt die Bestimmung der Entfernung eines Ob- 
jektpunktes P aus der Verschiebevektorlange der zuge- 
horigen Bildpunkte Bi und B 2 . Eine Stereokamera weist 
zwei Linsen 10 und 12 auf. Die Linsen 10 und 12 sind 
quer zu den optischen Achsen urn eine Strecke "A", die 
Stereobasis gegeneinander versetzt Die Linsen 10 und 
12 erzeugen je ein Bild eines Objekts mit dem Objekt- 
punkt P in Bildebenen 14 bzw. 16. In den Bildebenen 10 
und 12 sind elektro-optische Bildsensoren angeordnet 

Mit Zt und Z 2 sind die Zentralpunkte der Linsen 10 
bzw. 12 bezeichnet Der Strahl von dem Objektpunkt P 
durch den Zentralpunkt Zi der Linse 10 ist mit 18 be- 
zeichnet Der Strahl von dem Objektpunkt P durch den 
Zentralpunkt Z2 der Linse 12 ist mit 20 bezeichnet Der 
Strahl 18 trifft die Bildebene 14 im Punkt Bi. Der Strahl 
70 trifft die Bildebene 16 im Punk t B?, Zieht man durch 
den Zentralpunkt Z 2 der Linse 12 eine Parallele 22 zu 
dem Strahl 18, so trifft diese Parallele 22 die Bildebene 
16 im Punkt Bi\ In diesem Punkt Bi' wttrde der Objekt- 
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punkt P abgebildet, wenn die Linse 12 das Objekt aus 
der gleichen Richtung "sehen" wUrde wie die Linse 10. 
Infolge der Stereobasis A und der endlichen Entfernung 
des Objektpunktes P tritt eine Verschiebung des Bild- 
punktes von Bi' nach B2 auf. Diese Verschiebung ist 5 
durch einen Verschiebevektor dargestellt Die von der 
Linse 10 und von der Linse 12 erzeugten Bilder sind 
unterschiedlich. Jeder Bildpunkt in dem Bild der Linse 
12 ist gegeniiber dem entsprechenden, also zu dem glei- 
chen Objektpunkt P gehdrigen, Bildpunkt in dem von 10 
der Linse 10 erzeugten Bild um den Verschiebevektor 
verschoben. Der Verschiebevektor hangt von der Ent- 
fernung des jeweiligen Objektpunktes ab. Die von den 
Linsen 10 und 12 erzeugten Bilder stellen ein Paar von 
Stereobildern dar. 15 

Aus dem Verschiebevektor, d. h. der Strecke Bi'— B 2 , 
kann der Abstand des Punktes P berechnet werden: Das 
Dreieck P— Zi— Z2 ist ahnlich dem Dreieck 
Z 2 -Bi'— B 2 . Bezeichnet man den Abstand Zt— P mit 
V, so gilt 



20 



r « f-A/V, 

wenn f der Bildabstand, naherungsweise die Brennweite, 
und V die LStnge des Verschiebevektors ist Man kann 25 
also aus jedem Paar von korrespondierenden Bildpunk- 
ten der beiden Stereobilder die Entfernung r des zuge- 
horigen Objektpunktes bestimmen. Voraussetzung ist 
das Auffinden der jeweils korrespondierenden Bild- 
punkte und die Bestimmung der Lange des Verschiebe- , 30 
vektors. 

Fig. 2 zeigt einen in der Bildebene 14 angeordneten 
kartesisch gerasterten Bildsensor 24. Der Bildsensor 24 
besteht aus einer zweidimensionalen Anordnung von 
Detektorelementen 26. Die Detektorelemente 26 sind in 35 
waagerechten Zeilen und vertikalen Spalten angeord- 
net Die Position eines bestimmten Detektorelements 26 
ist durch einen Zeiienindex und einen Spaltenindex — 
ahnlich kartesischen Koordinaten — definiert Die linse 
10 bildet eine Zeile 28 des Bildsensors als flachen M Ge- 40 
sichtsfeldkeger30 ab. 

Fig. 3 zeigt die Gesichtsfeldkegel 30 und 32 je einer 
Zeile des Bildsensors 24 und eines in der Bildebene 16 
der Linse 12 angeordneten Bildsensors 34. Die Zeile des 
Bildsensors 24 ist die Zeile 28 von Fig. 2. Die Zeile des 45 
Bildsensors 34 ist mit 36 bezeichnet Die Bildebenen 14 
und 16 liegen in einer Ebene. Die beiden Linsen 10 und 
12 sind in einer quer zu den optischen Achsen verlauf en- 
den Richtung gegeneinander um die Stereobasis A ver- 
setzt Diese Richtung ist in Fig. 3 horizontal dargestellt 50 
Parallel zu dieser Richtung, also horizontal in Fig. 3 ver- 
laufen auch die Zeilen, z. B. 28 und 36 der Bildsensoren 
24 bzw. 34. Die Zeilen 28 und 36 der Bildsensoren 24 und 
34 sind dabei paarweise fluchtend angeordnet, d. h. ver- 
laufen paarweise langs einer gemeinsamen Geraden in 55 
den Bildebenen 14 und 16. Dementsprechend liegen die 
Gesichtsfeldkegel 30 und 32 im wesentlichen in einer 
gemeinsamen Ebene. Die Zeile 28 des Bildsensors 24 
erfaBt einen rechteckigen Streifen 38 des Gesichtsfel- 
des. Die Zeile 36 des Bildsensors 34 erfaBt ebenfalls 60 
einen rechteckigen Streifen 40 des Gesichtsfeldes. Die 
beiden Streifen 38 und 40 uberlappen sich in einem Be- 
reich 42. Dieser Bereich 42 wird von beiden Linsen 10, 
12 und Zeilen 28 bzw. 36 "gesehen". In diesem Bereich 
kann ein Objekt stereoskopisch erfaBt werden. 65 
-Die-Anordnung-mit-der-ynse-12-und dem-BUdsensoi 



34 geht aus der Anordnung von Fig. 2 mit der Linse 10 
und dem Bildsensor 24 dadurch hervor, daB beide Teile 



in Richtung der Zeilen des Bildsensors 24 parallel ver- 
schoben werden. Die Zeilen 28 und 36 haben den glei- 
chen Zeiienindex. 

Fig. 4 zeigt eine opto-elektronische Kamera, bei wel- 
cher die Funktionen der beiden Linsen 10 und 12, die in 
Fig. 5 gestrichelt angedeutet sind, durch eine einzige 
linse 44 in Verbindung mit Umlenkmitteln 46 in Form 
einer Spiegelanordnung und eines teildurchlassigen 
Spiegels erfUllt werden. 

Die Linse 44 hat eine Bildebene 48. In dieser Bildebe- 
ne 48 sitzt ein einziger Bildsensor 50 ahnlich Bildsensor 
24 von Fig. 2. Vor der linse 44 (oder einem Objektiv) 
sitzt ein teildurchlassiger Spiegel 52. Der teildurchlassi- 
ge Spiegel ist hier von der Trennflache eines Prismas 54 
gebildet Der teildurchlassige Spiegel 52 teilt den Strah- 
lengang 56 der Linse 44 in zwei Teilstrahlengange 58 
und 60. 

Der Teilstrahlengang 58 wird durch den teildurchlas- 
sigen Spiegel 52 um 90° parallel zur Zeilenrichtung des 
Bildsensors 50 umgelenkt Der Teilstrahlengang 58 wird 
dann durch einen geneigten Spiegel 62 nochmals um 90* 
umgelenkt, so daB er parallel zur optischen Achse der 
Linse 44 verlauft 

Der Teilstrahlengang 60 tritt durch den teildurchlassi- 
gen Spiegel 52 hindurch und fallt auf einen um 45° zur 
optischen Achse der Linse 44 geneigten Spiegel 64. Der 
Spiegel 64 lenkt den Teilstrahlengang 60 um 90° entge- 
gengesetzt zur Ablenkung des Teilstrahlenganges 58 
parallel zur Zeilenrichtung des Bildsensors 50 umge- 
lenkt Der Teilstrahlengang 60 wird dann durch einen 
Spiegel 66 wieder um 90° umgelenkt, so daB er parallel 
zu der optischen Achse der Linse 44 und zu dem zwei- 
mal umgelenkten Teilstrahlengang 58 verlauft 

Es ist zu beachten, daB in dem Strahlengang 56 und 
den Teilstrahlengangen 58 und 60 die "Strahlen" Achsen 
von abbildenden Lichtbundeln darstellen. Die Strahlen 
68 und 70 bilden je einen Objektpunkt an der gleichen 
Stelle 72 in der Bildebene 48 ab. 

Durch die uberlagerten Teilstrahlengange 58 und 60 
werden zwei Stereobilder an der gleichen Stelle auf dem 
einen Bildsensor 50 erzeugt In dem Teilstrahlengang 58 
sitzt ein Strahlenunterbrecher 74. In dem Teilstrahlen- 
gang 60 sitzt ein Strahlenunterbrecher 76. Die Strahlen- 
unterbrecher 74 und 76 arbeiten im Gegentakt Dadurch 
wird auf dem Bildsensor 50 abwechselnd das eine oder 
das andere Stereobild erzeugt Der Bildsensor 50 wird 
entsprechend ausgelesen. Die digitalisierten Helligkeits- 
werte der Bildpunkte werden unter dem Zeilen- und 
Spaltenindex in den beiden Stereobildern zugeordneten 
Speicherbereichen abgelegt 

Auf diese Weise werden zwei Stereobilder gespei- 
chert, die "ilbereinanderliegen": Jedem durch einen Zei- 
len- und einen Spaltenindex gekennzeichneten Bild- 
punkt des einen Bildes entspricht ein durch den gleichen 
Zeiienindex und den gleichen Spaltenindex gekenn- 
zeichneter Bildpunkt des anderen Bildes. Einander ent- 
sprechende Bildpunkte der beiden Stereobilder sind um 
Verschiebevektoren gegeneinander verschoben. Da die 
beiden Strahlengange der Kamera von Fig. 4 in einer 
zur Zeilenrichtung des Bildsensors 50 parallelen Rich- 
tung gegeneinander parallel verschoben sind, liegen die 
Verschiebevektoren der Bildpunkte ebenfalls in Zeilen- 
richtung. Einander entsprechende Punkte unterscheiden 
sich nur in den Spaltenindizes. Das erleichtert die Ste- 
reobildauswertung. 

Es-ist_zu_beachteJvdaB_ale_den_Zeilen_der_beiden_ 

Stereobilder entsprechenden Streifen des Gesichtsfel- 
des nur dann nach Art von Fig. 3 linear angeordnet sind, 
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wenn die Achsen der Strahlengange 58 und 60 oder die 
optischen Achsen der Linsen 10 und 12 zueinander par- 
allel sind. Anderenfalls aberkreuzt der der einen Zeile 
des einen Stereobildes zugeordnete Gesichtsfeldstrei- 
fen (38 in Fig. 3) die Gesichtsf eldstreifen mehrerer Zei- 5 
len des anderen Stereobildes, 

Fig. 5 zeigt die beiden Stereobilder 78 und 80 mit je 
einer herausgegriffenen Zeile 82 bzw. 84. Die Zeilen 82 
und 84 haben den gleichen Zeilenindex. Fig. 6 zeigt das 
erste Stereobild 78 mit einem Streifen 86 von drei Zei- 10 
len. Der Streifen 86 enthftlt in der Mitte die herausge- 
griffene Zeile 82 und zu beiden Seiten dieser Zeile die 
Zeilen 86 und 88 mit den gegenuber der Zeile 82 urn eins 
verminderten bzw. erhShten Zeilenindex. In dem Strei- 
fen ist weiterhin ein Mikromuster 90 von 3x3 Bild- 15 
punkten urn einen herausgegriffenen Bildpunkt 92 der 
Zeile 82 dargestellt 

Ein entsprechender Streifen 94 des zweiten Stereobil- 
des 80 ist gegenuber dem Stereobild 78 in Zeilenrich- 
tung verschoben dargestellt In der Zeile 94 ist ein Mi- 20 
kromuster 96 dargestellt, das mit dem Mikromuster 92 
fluchtet Das ist eine symbolische Darstellung. Praktisch 
werden die Spaltenindizes der den Streifen 96 bildenden 
drei Zeilen des zweiten Stereobildes 80 in dem Speicher 
schrittweise verandert Bei den "fluchtenden" Mikromu- 25 
stern 90 und 96 der beiden Stereobilder stimmen einmal 
die Zeilenindizes Oberein und zum anderen stimmen die 
veranderten Spaltenindizes der Biidpunkte des Mikro- 
musters 96 des zweiten Stereobildes 80 mit den Spalten- 
indizes des Mikrornusters 90 uberein. 30 

Das Mikromuster 90 ist dem zentral in dem Mikromu- 
ster 90 liegenden Bildpunkt 92 zugeordnet Von den 
digitalisierten Grauwerten der beiden "fluchtenden" Mi- 
kromustern 90 und 96 wird nun ein Korrelationswert 
gebildet Dieser Korrelationswert ist 35 

K©-E|P4Q-Pi|. 

Darin ist § die Verschiebung des zweiten Stereobildes 
80 gegenuber dem ersten. Pi bzw. P 2 sind die Grauwerte 40 
der Biidpunkte in dem Mikromuster 92 bzw. dem Mi- 
kromuster 96. Die Summe wird jeweils tiber alle Biid- 
punkte der beiden Mikromuster gebildet Es ergibt sich 
fur jeden Verschiebeschritt % des Stereobildes 80 gegen- 
uber dem Stereobild 78 ein dem Bildpunkt 92 zugeord- 45 
neter Korrelationswert 

Dieser Kurrelationswert hangt von der Anzahl § der 
Verschiebeschritte ab. Diese Korrelationsfunktion ist in 
Fig. 7 dargestellt Die Abszisse in Fig. 7 ist die Anzahl 
der Verschiebeschritte & Die Ordinate sind die jedem 50 
Verschiebeschritt zugeordneten Korrelationswerte, Die 
Korrelationsfunktion hat ein Minimum. Das Minimum 
kann durch parabolische Interpolation zwischen be- 
nachbarten MeBpunkten 98 und 100 mit "Sub-Pixel" Ge- 
nauigkeit bestimmt werden, wie durch die Parabel 102 55 
angedeutet ist, welche durch drei Meflpunkte 98, 100 
und 104 gelegt ist Dieses Minimum der Korrelations- 
Funktion definiert einen Verschiebevektor, bei welchen 
eine optimale Obereinstimmung zwischen dem den be- 
trachteten Bildpunkt 92 umgebenden Mikromuster 90 60 
und dem nach der Verschiebung "fluchtenden" Mikro- 
muster 96 des schrittweise verschobenen zweiten Ste- 
reobildes erhalten wird. Man kann davon ausgehen, dafi 
das Mikromuster 96 mit seinem zentralen Bildpunkt 106 
-mit-<tencv^ikn>muster-90~des^nver5C^b e ne n e rs ten_65 
Stereobildes 78 korrespondiert Die Biidpunkte 92 und 
106 sind also zwei einander zugeordnete Biidpunkte in 
den beiden Stereobildern, die von einem gemeinsamen 



Objektpunkt hervorgerufen sind Die Verschiebung in 
Zeilenrichtung, die notwendig war, um diese beiden 
Biidpunkte 92 und 106 und ihre Mikromuster 90 bzw. 96 
zur Deckung zu bringen, stellt die Lange V des Ver- 
schiebevektors dar, aus welcher der Abstand des Ob- 
jektpunktes wie oben angegeben berechnet werden 
kann. 

In der beschriebenen Weise wird jedem der Biidpunk- 
te der betrachteten Zeile 82 eine Lange V des Verschie- 
bevektors zugeordnet, Diese Stereobildverarbeitung 
erfolgt durch einen Parallelrechner parallel f Qr alle Biid- 
punkte einer Zeile, Die verschiedenen Zeilen der Ste- 
reobilder werden nacheinander abgearbeitet Auf diese 
Weise ist dann jedem Bildpunkt des ersten Stereobildes 
eine Lange V des Verschiebevektors zugeordnet Diese 
Langen V werden einem Hostrechner zur Berechnung 
der Entfernungen der zugehorigen Objektpunkte zuge- 
fQhrt 

Fig. 8 zeigt schematisch eine Reihe von Prozessorele- 
menten 108 des Parallelrechners. Die Prozessorelemen- 
te 108 sind je einer Spalte des verschobenen Stereobil- 
des 80 und der damit jeweils "fluchtenden" Spalte des 
unverschobenen Stereobildes 78 zugeordnet Jedes Pro- 
zessorelement z. B, 108 hat Zugriff zu den jeweils unmit- 
telbar benachbarten Prozessorelementen 110 und 112. 
Jedes Prozessorelement hat weiterhin Zugriff zu den 
gespeicherten Grauwerten alier Biidpunkte der dem 
Prozessorelement zugeordneten Spalten des unver- 
schobenen ersten und des verschobenen zweiten Ste- 
reobildes. Bei der Bildverarbeitung einer Zeile der ge- 
speicherten Stereobilder hat somit ein Prozessorele- 
ment 108 Zugriff zu gesamten Mikromustern 90 und 96, 
die dem Bildpunkt 92 mit dem Spaltenindex des Prozes- 
sorelements und dem Zeilenindex der bearbeiteten Zei- 
le zugeordnet sind Es hat direkten Zugriff zu den Grau- 
werten der Biidpunkte "seiner" Spalte und damit des 
Bildpunktes 92 und der dem Bildpunkt 92 in dieser Spal- 
te benachbarten Biidpunkte, Und es hat tiber die be- 
nachbarten Prozessoren 110 und 112 tiber die Verbin- 
dungen 114 und 116 Zugriff zu den Grauwerten der in 
der betrachteten Zeile benachbarten Biidpunkte sowie 
der diesen benachbarten Bildpunkten wiederum in den 
zugehdrigen Spalten benachbarten Biidpunkte. Aus den 
3 x 3 - Mikromustern berechnet das Prozessorele- 
ment dann den Korrelationswert der Mikromuster nach 
der oben angegebenen Beziehung. Das geschieht — so- 
weit die Stereobilder 78 und 80 sich Uberlappen - filr 
alle Biidpunkte der Zeile, Die Korrelationswerte K(Q 
werden in den Speichern der Prozessorelemente gespei- 
chert 

Dann werden die Spaltenindizes ftir die gespeicherten 
Grauwerte der Biidpunkte des zweiten Stereobildes 80 
schrittweise, Bildpunkt-fttr-Bildpunkt verandert Dies 
entspricht Verschiebungen der Bildinhalte um die Wer- 
te §3, etc, Es werden jedesmal die Korrelationswerte 
gebildet und in den Speichern der Prozessorelemente 
108 etc. abgespeichert. Der Speicher eines Prozessor- 
elements 108 enthalt dann die MeBpunkte 98 etc. der 
Korrelations-Funktion von Fig- 7. Nach Erreichen einer 
durch die Objekttiefe bestimmten Verschiebung wer- 
den von den Prozessorelementen 108 eta parallel die 
Lagen der Minima und daraus die Langen der Verschie- 
bevektoren berechnet Die so berechneten Verschiebe- 
vektoren werden zu dem Bildpunkt abgespeichert und 
; dienen zur Berechnung der Entfern ung des zu g ehdri gen 
Objektpunktes. 

Dieser Vorgang wiederholt sich fur samtliche Zeilen 
der Stereobilder 78 und 80. 
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Es besteht die Gefahr einer Verwechslung bei der 
Zuordnung der Mikromuster. Eine solche Verwechs- 
lung kann durch Rauschen bedingt sein oder die Mikro- 
muster konnen zufallig fihnlich seia Urn dieser Gefahr 
entgegenzuwirken, sollte geprflft werden, ob das erhai- 5 
tene Vektorfeld der Verschiebevektoren hinreichend 
homogen ist Wenn eine in der oben beschriebenen Wei- 
se aus dem Verlauf der Korrelations-Funktion bestimm- 
te Lange des Verschiebevektors stark von der Lange 
der benachbarten Verschiebevektoren abweicht, so ist 10 
die so bestimmte Lange mdglicherweise falsch. Es ist 
dann zu priifen, ob die zugehorige Korrelations-Funk- 
tion nicht noch ein weiteres, etwa nur unwesentlich fla- 
cheres Minimum aufweist und die daraus bestimmte 
Lange des Verschiebevektors besser zu den Nachbarn 15 
der Zeile passen wurde. 

Auch diese Rechnung kann durch die Prozessorele- 
mente 108 etc. parallel fOr eine Zeile durchgefuhrt wer- 
den. 

Die Lange V des Verschiebevektors eines Bildpunk- 20 
tes kann auch mit dem Verschiebevektor der benach- 
barten Bildpunkte der gleichen Spalte verglichen wer- 
den. 

Weitere Vertrauenskriterien zur Beurteilung, ob das 
richtige Minimum gefunden wurde, konnen aus dem ab- 25 
soluten Wert des Minimums und aus dem inneren Kon- 
trast des betrachteten Mikromusters gewonnen werden. 
Kontrastarme Mikromuster liefern erhebliche Unsi- 
cherheiten bei der Korrelation. 

Das beschriebene Verfahren und die beschriebene 30 
Vorrichtung gestatten eine Stereobildauswertung in 
Echtzeit. Stereobilder konnen mit einer Bildfrequenz 
von beispielsweise 30 Hertz aufgenommen und ausge- 
wertet werden. Mit dieser Frequenz arbeiten die Strah- 
lenunterbrecher 74 und 76. 35 

Patentanspruche 

1. Verfahren zur Stereobildauswertung bei wel- 
chem aus zwei elektronisch gespeicherten Stereo- 40 
bildern mit in Zeilen und Spalten angeordneten, 
durch Zeilen- und Spaltenindizes charakterisierten 
Bildpunkten zu den einzelnen Bildpunkten die zu- 
gehbrigen Entfernungen bestimmt werden, mit den 
Verfahrensschritten: 45 

(a) Erzeugung eines ersten und eines zweiten 
Stereobildes derart, daB einander entspre- 
chende Bildpunkte in den beiden Stereobil- 
dern in gleichen Zeilen liegen, 

(b) wobei jedem Bildpunkt ein diesen umge- 50 
bendes Mikromuster zugeordnet ist, 

(c) schrittweise Veranderung der horizontalen 
Position, d h. der Spaltenindizes der Bildpunk- 
te des zweiten Stereobildes — samt den sie 
umgebenden Mikromustern — relativ zu de- 55 
nen des ersten Stereobildes, 

(d) Erzeugung von Korrelationen der Mikro- 
muster jeder Zeile des zweiten Stereobildes 
mit den Mikromustern jeder Zeile des ersten 
Stereobildes nach jedem solchen Schritt, 60 

(e) Bestimmung der Extremwerte der so fttr 
jeden Schritt erhaltenen Korrelationen und 

(f) Bestimmung der Langen der Verschiebe- 
vektoren aus den Schrittzahlen von der Aus- 
gangsposition bis zum Erreichen des Extrem- 65 

wertes-der— Korrelation-eines-Mikromusters 

und Zuordnung dieser Langen zu den dem Mi- 
kromuster zugeordneten Bildpunkten des er- 



sten Stereobildes und 

(g) Bestimmung der Entfernungen der den 
Bildpunkten zugeordneten Objektpunkte aus 
den so zugeordneten Langen der Verschiebe- 
vektoren. 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Extremwerte durch parabolische 
Interpolation aus den diskreten MeBpunkten be- 
stimmt werden, die sich aus den diskreten Verschie- 
beschritten und den zugehdrigen Korrelationswer- 
ten ergeben. 

3. Verfahren nach Anspruch 1 oder 2, dadurch ge- 
kennzeichnet, daB als Korrelationsfunktion K die 
Summe der Absolutbetrage der Differenzen der 
Grauwerte P2, P| 

K(0-S|Pa®-Pi| 

ftir die Bildpunkte der zu korrelierenden Mikromu- 
ster gebildet und als Extremwert das Minimum die- 
ser Korrelationsfunktion bestimmt wird. 

4. Verfahren nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, daB die Stereobildpaare 
zeilenweise nacheinander und jeweils parallel fUr 
alle Bildpunkte einer Zeile abgearbeitet werden. 

5. Vorrichtung zur Durchfuhrung des Verfahrens 
nach Anspruch 1, gekennzeichnet durch 

(a) elektro-optische Kameramittel (10, 12; 46) 
mit Zeilenrasterung zur Erzeugung eines er- 
sten und eines zweiten Stereobildes (78, 80) 
einer Szene aus gegeneinander in Richtung 
der Zeilen parallel verschobenen Abbildungs- 
Strahlengangen (58, 60), 

(b) einen Bildspeicher zur Speicherung des er- 
sten und zweiten Stereobildes (78, 80), wobei 
jedem Bildpunkt eine Zeilenzahl und eine 
Spaltenzahl und auBerdem jeweils ein von be- 
nachbarten Bildpunkten gebildetes Mikromu- 
ster (90, 96) zugeordnet ist, 

(c) Mittel zur schrittweisen Veranderung der 
Spaltenzahlen des zweiten Stereobildes (80) 
relativ zu den Spaltenzahlen des ersten Ste- 
reobildes (78) ausgehend von einer Ausgangs- 
position, 

(d) Koi relationsmittel zur Korrelation der Mi- 
kromuster (90, 96) des ersten Stereobildes (78) 
mit Mikromustern des zweiten Stereobildes 
(80), die Bildpunkten mit jeweils gleichen Spal- 
tenzahlen zugeordnet sind, zur Bestimmung 
von Korrelationswerten (K), 

(e) Mittel zur Bestimmung von Extremwerten 
der Korrelationswerte (K), 

(f) Spelchermittel durch welche fur jeden Bild- 
punkt (92) und das diesem zugeordnete Mikro- 
muster (90) die aus der Schrittzahl zwischen 
Ausgangsposition und Position des Extrem- 
wertes an einer zugeordneten Speicherstelle 
bestimmte Lange (V) des Verschiebevektors 
speicherbar ist, und 

(g) Rechnermittel zur Bestimmung der Entfer- 
nungen der den Bildpunkten zugeordneten 
Objektpunkte aus den so zugeordneten Lan- 
gen der Verschiebevektoren. 

6. Vorrichtung nach Anspruch 5, dadurch gekenn- 
zeichnet, daB die Korrelationsmittel und die ex- 
tern wertbestinimenden-Mittel-voneinem-P^ 
rechner gebildet sind durch welchen die Stereobil- 
der zeilenweise nacheinander und jeweils parallel 
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fUr alle Bildpunkte einer Zeile abgearbeitet wer- 
den. 

7. Vorrichtung nach Anspruch 6, dadurch gekenn- 
zeichnet, daB die entfernungsbestimmendcn Rech- 
nermittel von einem Hostrechner gebildet sind. 5 

8. Vorrichtung nach einem der Anspruche 5 bis 7, 
dadurch gekennzeichnet, daB die elektro-optischen 
Kameramittel enthalten: 

(a) eine einzige Kamera mit einem Objektiv 
(44) und einem Bildsensor (50), 10 

(b) , ein Strahlenteiler (52) vor dem Objektiv 
(44), zur Aufteilung des Strahlenganges (56) in 
zwei Teilstrahleng^nge (58, 60), 

(c) Umlenkmittel (46), durch welche ein Paral- 
lelversatz der beiden Teilstrahlengfinge (58, 15 
60) in Richtung der Zeilen der Kamera bewirkt 
wird, 

(d) wodurch in der Bildebene (48) der Kamera 
zwei tlberlagerte Stereobilder (78, 80) erzeugt 
werden, 20 

(e) gegenphasig wirksame Strahlenunterbre- 
cher (74, 76) in jedem der Strahleng&nge, der- 
art, daB die beiden Stereobilder (78, 80) den 
Bildsensor (50) abwechselnd beaufschlagen, 

(f) Mittel zum abwechselnden Auslesen der 25 
Stereobilder aus dem Bildsensor (50) synchron 
mit dem Bildwechsel und zum Speichern der 

so ausgelesenen Stereobilder in getrennten 
Speichern. 

9. Vorrichtung nach Anspruch 8, dadurch gekenn- 30 
zeichnet,daB 

(a) der Strahlenteiler eine unter 45° zur opti- 
schen Achse des Objektivs (44) geneigte, teil- 
reflektierende FWchc (52) enth&lt, 

(b) die Umlenkmittel (46) einen zu der teilre- 35 
flektierenden Fllche (52) parallelen Spiegel 
(62) aufweist, welcher den von der teilreflektie- 
renden FlSche (52) reflektierten Teilstrahlen- 
gang (58) in eine zur optischen Achse des Ob- 
jektivs (44) parallele Richtung umlenkt 40 

10. Vorrichtung nach Anspruch 9, dadurch gekenn- 
zeichnet, daB die Umlenkmittel (46) weiterhin ein 
Paar von zueinander parallelen, zur Ebene der teil- 
durchlassigen Fmche (52) senkrechten Spiegeln (64, 
66) aufweist, wobei einer dieser Spiegel (64) den 45 
durch die teildurchl&ssige FlSche (52) hindurchtre- 
tenden Teilstrahlengang (60) auf den zweiten dieser 
Spiegel (66) ablenkt, welcher den von dem ersteren 
Spiegel (64) umgelenkten Teilstrahlengang (60) 
ebenfalls in eine zur optischen Achse des Objektivs 50 
(44) parallele Richtung umlenkt 

11. Vorrichtung nach Anspruch 10, dadurch ge- 
kennzeichnet, daB sich die beiden divergenten Teil- 
strahleng&nge (58, 60) durchdringen. 

, — 55 
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